AI 视频制作

AI 视频生成能力拆分文档 —— 原理 · API 格局 · 制作流水线 · 漫剧短剧落地 热门

1. 能力总览与原理

能力定义：AI 视频制作 = 文生视频（文字→视频）、图生视频（静态图→动态视频，角色定稿后"让图动起来"）与视频编辑（续写、定向修改）。典型用途：漫剧/短剧、广告素材、影视分镜与特效。

原理：主流工业级视频模型走"DiT（扩散 Transformer）+ 流匹配"路线，在 3D VAE 压缩的时空隐空间里逐步去噪还原视频；Seedance 2.0 用双分支扩散让音画并行生成再对齐。2025 下半年模型集中突破，可用率从 20% 跃升到 90%（从"抽盲盒"到"工业化成片"），单集成本从 5–10 万压到 5000 元内，单人日产能 10–20 集。

PlantUML diagram
图1：AI 视频生成 API 格局（组件图）
⚠ OpenAI Sora API 已弃用：官方公告 Videos API 与全部 Sora 2 模型（sora-2 / sora-2-pro 及快照）2026-09-24 永久关停，无推荐替代——此后 OpenAI 不再提供视频生成 API。生视频需求请转向 Google Veo 或国内厂商，勿再选型 Sora。
名词解释
DiT（Diffusion Transformer）：用 Transformer 做扩散模型去噪骨干，文生图/文生视频共用的主流架构。
流匹配（Flow Matching）：学习"噪声→数据"的流动路径来训练扩散模型，训练稳、采样快。
3D VAE：把视频（时间+空间）压缩到低维隐空间的编码器，先在隐空间去噪再解码回像素，大幅省算力。
可用率：一次生成能直接用于成片的比例，是衡量视频模型工业价值的核心指标。

2. API 格局与选型

选型格局（Sora 退场后）：商用视频生成 API 形成"Google Veo + 国内厂商"两强并立——Veo 是海外唯一大厂级视频 API（Gemini API 内调用）；国内（Seedance / 可灵 / 万相 / Vidu / 海螺 / CogVideoX）数量最多、价格约为 Veo 的几分之一、中文场景与短剧工作流优化更好；开源自部署（Wan / 混元 / LTX / CogVideoX）适合数据敏感与成本极致场景。

API特点适用
Google Veo 3.x海外主力，Gemini API 内调用，画质与物理模拟强出海业务、高质量广告素材
火山引擎 Seedance 2.0可用率 90%、音画同步、双分支扩散多镜头叙事；字节另有"小云雀短剧漫剧 Agent"全流程 API漫剧/短剧产线首选
快手可灵3.0 版本，文/图生视频均衡，智能分镜短剧、营销素材
阿里万相 Wan3.0原生 30 秒长生成，同时开源可自部署长镜头、私有化
Vidu / 海螺 / CogVideoX各有特长（参考生视频/运镜/开源），价格约 ¥0.3–1/秒多供应商比价、备份路由
Runway / Luma海外创业公司 API，创意工具生态海外小众场景
LTX / 混元 / Wan（开源）权重公开，ComfyUI 可跑，自部署零 API 费数据敏感、成本极致

2.1 异步调用模式

所有视频 API 都是异步任务模式（单次渲染需数分钟）：提交任务拿到 task_id → 轮询状态或接收 webhook 回调 → 完成后下载 MP4（下载链接限时有效，要及时转存对象存储）。批量渲染可走 Batch 队列（离线产线）。

PlantUML diagram
图2：视频生成 API 异步调用（时序图）
// 通用异步流程伪代码（各家端点不同，以厂商文档为准；结构均如此）
const job = await post("/videos", {
  model: "seedance-2.0",          // 或可灵 / 万相 / veo-3.x
  prompt: "镜头缓慢推进，霓虹夜市，蒸汽升腾",
  image: refImageId,              // 图生视频：传角色定稿图
  duration: 4, size: "1280x720"
});
let v;
while ((v = await get(`/videos/${job.id}`)).status !== "completed")
  await sleep(10000);             // 或注册 webhook 接收 video.completed 事件
const mp4 = await download(v.content_url); // 链接限时有效，尽快转存 OSS/CDN
名词解释
异步任务（Async Job）：提交请求立即返回任务 ID，渲染在服务端进行，客户端轮询或收 webhook 通知，避免长时间占用连接。
Webhook：任务状态变化时服务端主动回调你的服务器，比轮询省资源。
Batch API：把成百上千个渲染请求打包成离线队列批量提交，适合镜头批量的产线。

3. 制作流水线

端到端五环节：LLM 写剧本拆分镜 → 文生图角色定稿 → 图生/文生视频 → 配音配乐 → 剪辑合成。其中"角色定稿"是图片生成能力（详见《AI 图片制作》第 4 章），视频环节按单镜头 2–4 秒逐镜生成再拼接。

PlantUML diagram
图3：AI 视频制作流水线（活动图）
环节底层模型 / API（可编程调用）终端产品 / 工具（人操作）要点
剧本 / 分镜LLM API：豆包 / DeepSeek / Kimi / GLM可灵智能分镜、即梦 App、Kimi 网页LLM 写剧本 + 拆结构化分镜 JSON（镜头/时长/提示词/角色/对白）
文生图（角色定稿）OpenAI Images API（gpt-image-2）、FLUX / SD 系（开源）、即梦/可灵/万相文生图 APIMidjourney（订阅，无公开 API）、即梦 App、ComfyUI角色一致性靠 IP-Adapter / FaceID / LoRA 锁角色，每角色备 3–5 张参考图
图生/文生视频Google Veo 3.x API（海外主力）、火山引擎 Seedance 2.0 API、快手可灵 API、阿里万相 Wan API、Vidu API、MiniMax 海螺 API、智谱 CogVideoX API、LTX（开源自部署）即梦 App、可灵 App、Runway（订阅）、剪映 AI单镜头 2–4 秒；Seedance 可用率 90%、音画同步、多镜头叙事。注：Sora API 已弃用、2026-09-24 关停，勿选型
配音 / 音乐豆包 TTS API、Qwen-TTS、讯飞 API、ElevenLabs API（出海）、Suno API剪映、即梦、Udio对白配音 + 情绪 + 配乐
剪辑 / 合成FFmpeg、ComfyUI 工作流、Dify / Agent 流水线剪映、CapCut、有戏AI / 巨日禄 / 漫剧助手自动字幕、转场；可封装 Dify+ComfyUI 自动产线或 Agent 流水线
区分"终端产品"与"底层模型/API"：即梦 App、可灵 App、Runway、剪映是终端产品——面向人的订阅/网页工具；底层模型/API（Seedance、可灵、万相等）才是可编程集成的能力。做产品/自动化流水线选 API，人工操作选终端产品。
名词解释
分镜 JSON：把剧本拆成结构化镜头清单（镜头号/时长/画面提示词/角色/对白），供下游程序化调用生成，是自动化产线的关键中间格式。
图生视频：以静态图为首帧/参考生成视频——先文生图锁定角色形象，再"让图动起来"，是保证角色一致性的主流做法。

4. 最大落地场景：AI 漫剧 / AI 短剧

市场：2025 年市场约 168–200 亿元，2026 年预计 220–240 亿；抖音 2025 年上线约 6 万部漫剧、播放量超 700 亿。字节、快手、腾讯（火龙漫剧）、百度（柚漫剧）等平台全面入场并给扶持——字节"辰星计划"单部最高 500 万保底。2025 海外短剧市场约 40 亿美元，漫剧供给仍稀缺，出海窗口开启。

为什么是漫剧先跑通：动漫风格掩盖了 AI 视频的瑕疵（真人恐怖谷难绕开）、单集时长短（1–2 分钟）、题材高度模板化（逆袭/战神/甜宠），最适合"LLM 写剧本 + 视频模型批产"的流水线。

5. 变现路径与避坑

变现路径：平台中视频计划 / 创作激励（约 25–60 元/万播放）、小说推文分销（CPS 佣金 30–50%）、广告商单（5 万粉约 2000–5000 元/条）、付费剧集分成、出海（TikTok / YouTube）。

避坑：2025 年抖音 6 万部漫剧中爆款率仅 0.16%，Top20 厂商吃 32% 播放量，90% 非头部公司亏损；近半年爆款约 60% 改编自小说 IP——IP 是护城河。建议先免费工具跑通全流程、日更测试 30 条再定方向。
落地建议（微架构）：① 用"LLM 写剧本 + Seedance/可灵生成 + 剪映合成"先跑通漫剧/短剧/营销素材；② 供应链：视频 API 按双供应商接入（如 Seedance 主 + 万相备）防单点涨价/限流；③ 把流水线封装成工具对外交付，比自己做内容账号更稳。

本文为《AI 核心应用》按能力拆分的视频制作分册，2026 年 8 月整理。图片生成见《AI 图片制作》，总览见《AI 核心应用》《AI 应用全景》，视频领域深度参考《AI 文生图文生视频多模态》。